In 1860 kocht de uit Herenthout afkomstige Baron August van Reynegom de Buzet de gronden van de familie de Kerckhove. Op deze historische site werd het neoclassicistische Kasteel Zorgvliet gebouwd. Het telt vele gelijkenissen met het nabijgelegen Sint-Michielskasteel maar heeft het symmetrische uitzicht beter bewaard, het werd in de loop der jaren dan ook nauwelijks gewijzigd. In 1877 kocht Baron August van Reynegom de Buzet het Sint-Michielskasteel van Mevrouw Casse-Bruynsieraden, die op haar beurt in het kasteel Zorgvliet ging wonen.
De bekendste eigenaars van Zorgvliet in de 20ste eeuw waren de gebroeders Eugène, Joseph en Isidore Bollekens, pioniers-vliegtuigbouwers uit Antwerpen. Line Bollekens, dochter van een van de gebroeders Bollekens, bewoonde het kasteel tot ze om kwam in een auto ongeval in 1986. Na Line Bollekens was haar neef J.P. Bastin de enige erfgenaam die het kasteel domein in november 1987 verkocht aan de familie De Cuyper die het vervallen domein volledig renoveerde. Het kasteel werd dan gedurende 30 jaar verhuurd aan verschillende bedrijven.
In 2017 werd Amanu Invest de nieuwe eigenaar van het kasteel dat beschermd is als monument.